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Розглядається створення інформаційної технології ідентифікації знаків дактильної абетки для 
української жестової мови. Інформаційна технологія базується на результатах аналізу інформа- 
тивності ознак, запропонованих для розпізнавання. Технологія розпізнавання враховує вимоги 
відтворення жестового мовлення людьми з різними розмірами рук та на різних фокусних відстанях. 
Ключові слова: інформаційна технологія, ідентифікація, дактильна абетка, жестова мова. 
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Рассматриваєтся создание информационной технологий идентификации знаков дактильной азбуки 
для украйнского жестового язьтка. Информационная технология базируется на результатах анализа 
информативности признаков, предложенньх для распознавания. Технология распознавания учить- 
ваєт требования воспроизведения жестовой речи людьми с различньми размерами рук и на разньх 
фокусньх расстояниях.. 

Ключевью слова: информационная технология. идентификация, дактильная азбука, 
ЖеСТОВЬІЙ ЯЗЬК. 


Проблема розробки мультимедійних систем 0 розпізнавання елементів 
дактильної абетки жестової мови глухих, як одного із засобів комунікації між 
людьми з вадами слуху, є досить актуальною |Ї1|, 1 зумовлена недостатнім рівнем 
вивчення проблеми розпізнавання жестів. Значущість названої проблематики 
посилюється також у зв'язку з необхідністю створення систем, які забезпечать рівні 
умови для спілкування, сприйняття та оволодіння інформацією людям з вадами 
слуху в соціальних процесах |2|. Важливою на сьогодні є проблема створення 
сучасних інформаційних технологій, що включають алгоритми, за допомогою яких 
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можна було б створювати нові комп'ютерні системи навчання та комунікації для людей з 
вадами слуху. Для вирішення цієї проблеми запропонована концепція інформаційної 
технології невербального спілкування людей з вадами  слуху|3|. Комплексна 
інформаційна технологія включає в себе функціональність по синтезу: рухів жестової 
мови, дактильної абетки, міміки промовляння на трьохмірній моделі людини та аналізу 
невербальних каналів комунікації. Одним з напрямків концепції є створення 
інформаційної технології розпізнавання елементів дактильно-жестової мови. 

Метою роботи є створення інформаційної технології ідентифікації знаків 
дактильної абетки для української жестової мови. Інформаційна технологія повинна 
базуватися на результатах аналізу інформативності ознак. Також мають бути 
враховані вимоги відтворення жестового мовлення людьми з різними розмірами рук 
та на різних фокусних відстанях. 


Характеристичні ознаки дактилем 


Для вирішення задачі розпізнавання дактильної абетки жестової мови з 
потокового відеозображення проведені дослідження з метою визначення ефективних 
характеристичних ознак подання кисті руки при відтворенні  дактилем. 
Досліджувалось вхідне відеозображення, що містить показ людиною знаків 
дактильної абетки та певні перетворення зображення, що дають змогу отримати на 
виході ідентифікований знак (букву) української мови. Ідентифікація враховувала 
відтворення дактиля людьми з різними розмірами рук та при фіксації даного процесу 
з різних фокусних відстаней. На зображенні виділялась кисть руки і фіксувались її 
крайні точки: зверху, зліва, знизу справа. У результаті дослідження отримано 
наступні групи характеристичних ознак: 1)кут між векторами, що проведені з 
центру до крайніх точок (х,,х,,х,,х,); 2)нормована довжина вектору, який 


проведено з центру до крайніх точок (х,,хо,хуьху ); 3) компактність, направленість, 
видовженість, відношення ширини до висоти БОР ЗНО ТЬН 4) горизонтальне 


сканування (розбиття на 11 стрічок) (х х, ); 5) розбиття зображення на 25 клітин 


сю 
(оно); 6) дескриптори контурного аналізу (х,уХоь Хо» Хо ); 7) ознаку динамічності 


дактилеми (х,) 4). Тут х, з (БІ,)-(аї,) , / -13,48, де БІ, - кількість точок, що 
належать кисті руки в клітині, а), - загальна кількість точок клітини. 


У результаті аналізу отримано, що ознака х, дозволяє стійко ідентифікувати 
підмножину дактилем ІБ Ш.К.Ц). Ознака х, дозволяє визначити дактилему Т, а 
ознака х, дактилему Г. 


Запропоновано методику визначення характеристичних ознак для дактилем з 
амплітудою руху (динамічних дактилем). Для цих дактилем за ознаки слугують 
траєкторії переміщення координат центру має руки. У результаті отримано стійку 
ідентифікацію дактилем Д, З та Б. Дактилеми Й, К, Ц, Щ, Ї, Є запропоновано 
ідентифікувати як нерухомі, але при цьому враховувати наявність траєкторії (це 
дозволяє розділити однакові за конфігурацією руки дактилеми: Ц(Ї), И(Й), Ш(Щ)) |31. 

Для множини дактилем, що не ідентифікуються вище наведеними способами, 
проведено аналіз інформативності характеристичних ознак за вище наведеними 
групами. У результаті отримано, що найефективнішими ознаками є ознаки з груп: І, 
2,316. У рамках 4 та 5 груп роздільність букв зменшується. Серед груп 1, 2,316 
найефективнішою виявилася / група 6 (дескриптори контурного аналізу: 


(хдо Ха» Х8І , Х52 УГ6І. 
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Підхід до ідентифікації дактильної абетки 


Запропоновано інформаційну технологію (див. рис.1), що полягає у побудові 
каскадного класифікатора, за допомогою якого множина дактилем розбивається на 
стало роздільні підмножини. У цих підмножинах дактилеми роздільні дещо менше, 
тому запропоновані інші підходи для їх ідентифікації. 

Процес отримання з вхідного відеопотоку, що містить показ дактилем 
української дактильної абетки, на виході ідентифікованого символу-дактиля полягає 
у наступних перетвореннях: блок І - забезпечення відеопотоку, що містить показ 
елементів дактильної абетки, виділення області кисті руки; блок 2 - отримання 
параметрів моделі руки (хх, Ху Хуз» Худ» Хо ); блок 3 - аналіз динамічності дактилеми; 
блок 4 - визначення підмножини, до якої належить дактилема; блок 5 - розбиття 
множини слабо роздільних дактилем за допомогою гіперплощинної класифікації; 
блок 6 - ідентифікація дактилеми з обмеженої підмножини. 

Блок І (вхідна інформація). Інформаційна технологія забезпечує: 1) захоплення 
відеопотоку з ууеб-камери та 2)завдання порогових параметрів, що залежать від 
середовища, в якому проводиться відеофіксація. 

Блок 2. Інформаційна технологія забезпечує: 1) попередню обробку зобра- 
ження (відділення області руки, перетворення над зображенням); 2) подання пара-метрів 
моделі руки. Попередня обробка зображення полягає у виконанні наступних кроків: 
переведення зображення у сірі тони; переведення зображення у чорно-білі кольори; 
переведення зображення в формат Н5ЗУ; виділення області руки на зображенні. 

Блок 3. Інформаційна технологія забезпечує визначення ознаки статичності чи 
динамічності дактилеми (ознака х,). Алгоритм забезпечує визначення наступних 


значень ознаки: х, - 0 - статична дактилема; х, - 1 - динамічна дактилема Д; х, - 2 
- динамічна дактилема 3; х, -3 - динамічна дактилема Ь; х,-4 - динамічні 
дактилеми ї Й Щ.К,Є. 

Блок 4. Інформаційна технологія забезпечує віднесення статичної дактилеми до 


певної підмножини дактилем. Згідно з аналізом, використовуючи ознаки х,,хуьХ»» 


можна розділити статичні дактилеми на наступні підмножини: (Б, ШК ЦУ., ІТ), ІГУ), 
АВЕЄЙІ,ЛМ,Н,Р,СУФ,ХЧИЮ,Я). Розділення полягає в аналізі входження 


ознак х,хх, У вИЗНачені проміжки. Ці проміжки наведені на рис.і. ліворуч 1 


праворуч від кожної ознаки. 

Відзначимо, що одна із підмножин, отриманих у результаті роботи Блоку 4, має 
досить великий розмір. Дактилеми, що належать цій множині, є слабо роздільними. 

Блок 5. Інформаційна технологія має забезпечити розбиття цієї множини на 
чотири підмножини меншого розміру. Для цього пропонується використати 
гіперплощинну класифікацію |7). За результатами попереднього аналізу, за вектор 
ознак взято дескриптори контурного аналізу (х,рзХаду Хо» Хо ) 

Беручи до уваги, що досліджувалась множина слабороздільних (простими 
способами) дактилем і кількість елементів цієї множини досить велика (18 
елементів), на відміну від добре роздільних (до 5 елементів), пропонується розбиття 
цієї множини на підмножини до 5-ти елементів. 
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Вхідна інформація, 
Ї зараметри налаштування 
системи 


Отримання параметрів моделі 
руки: х,, Хо, Хі» Х49Х52 


Аналіз динамічності 
дактилеми: хо 


1.,9-2,21 Г0,7-1,9) 4-6) 


(17-20) 


Розбиття на підмножини 


6 Ідентифікація дактилеми 


за допомогою ознак 2), Х49-Х 52 


Рис. 1. Схема інформаційної технології класифікації та ідентифікації дактилем 
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Для цього пропонується подати мінімальну величину відношення ширини 
полоси класифікатора до суми відстаней центрів кластерів від відповідних сторін 
полоси для пар дактилем у вигляді НЕвклідової відстані на площині: 


(Я) зу з (Ж) з НГАЯ ож) (5, -у, ) , тобто для кожних пар кластерів 
дактилем підбираються такі: х,, у ,Х,, У», ЩОб У(б)- г'(6ж)) була мінімальна. 


Результат такого підбору можна використати для дихотомного розбиття множини, 
що розглядається, на потрібну кількість підмножин. 

Для побудови системи розпізнавання об'єктів, належних до декількох різних 
класів, використовується принцип дихотомії. На основі центрів представників 
класів будується дихотомне дерево класифікації (рис. 2) та для кожної вершини 
дерева синтезується оптимальний полосно-роздільний класифікатор відповідно до 
інформації про об'єкти, що міститься в навчальній послідовності. 


ЕС,Х,Ч,Я,В,Є ЛУК 


НРАТМФЮ 
ЕСХЯЯВеСЛуУ ИКНРАТМФЮ 


Рис. 2. Дихотомне дерево класифікації 


З отриманого взаємного розташування можна запропонувати наступне 
розбиття | множини  дактилем (рис. 3) спочатку ї на 2 4 підмножини: 
ІЕС ХЧЯ В ЄЛУ! та ІИКНРАЛТМФЯЮ!) - рис. 3,), а потім кожну з 
отриманих ще на дві: ІЕСХЧЯ! 1 ІВ,ЄЛУУ) (рис. 3,56) та ІЙК.НР!) і 
1АЛМ,Ф,Ю; (рис.3, в)). 

Використання гіперплощинної класифікації потребує реалізації наступних 
кроків: 1) визначення гіперплощин, що розділяють підмножини та 2) ідентифікація 
підмножини дактилем, до якої належить дактильний символ. Для отримання 
зазначених гіперплощин слід виконати наступні кроки: 


ес ея 5 


ер 
Феїк 
еи ем 
ею'о 


а) 6) в) 


Рис. 3. Розбиття множин дактилем полосно-роздільним класифікатором 


1) на вході сформувати матрицю, що складається з К--/ стовпчиків (К 
стовпчиків містять вектори одного класу, а / стовпчиків - іншого; кожен 


стовпчик є вектором з п параметрами, значеннями яких є ознаки Хдоь..., Хз2; 
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2)над елементами матриці провести перетворення центрування та 
нормування в проміжок від 0 до 1; 

3) доповнити кожен вектор п--І компонентом, що дорівнює І (рядок 
вільних членів); отриману таким чином матрицю з К--/ стовпчиків та п -- І 
рядків позначимо як 4; 

4) знайти А ААЦААТУ |; 

5) знайти псевдообернену матрицю до матриці 4:4" з добу 

6) знайти проекційну матрицю: К - АГАТ; 

7) знайти коефіцієнти роздільної гіперплощини як розв'язок рівняння: 
УТВУ -»0: 
7.1) позначимо У як вектор розмірності К -/, причому К елементів цього 
вектору покладемо рівними 1, а інші / покладемо рівними -Ї; 


7.2)знайдемо розв'язок рівняння У ТВу -» 0, скориставшись довільними 
мінімаксними методами, тобто шукатимемо розв'язок (У ) такий, що мінімізує 


цільову функцію У Тру -0 шляхом підбору компонентів вектора У з наступними 


урні разійнняг 


обмеженнями: ие сни 
у -Ь/зЮНньккІ 


8) для знайденого У обрахуємо коефіцієнти гіперплощини а: аз сатує ря 
Вищезазначеним чином отримаємо коефіцієнти чотирьох гіперплощин: 
(им , а» Й аз Й ад 


У Блоці 5 реалізовано, за допомогою попередньо отриманих коефіцієнтів 
трьох гіперплощин (а, і -13), механізм віднесення моделі вхідної дактилеми до 
однієї з відповідних підмножин. Для цього послідовно визначаємо розв'язок: 
дах, де х - модель вхідної дактилеми (хх, ХьХо» Хо ). Якщо результат більший 
нуля, то х відноситься до першого класу, в іншому випадку - до другого класу. 
Таким чином визначаємо підмножину, до якої відноситься модель вхідної 
дактилеми. 

Блок 6. Інформаційна технологія забезпечує ідентифікацію дактилеми за 
параметрами її моделі (дескрипторів контурного аналізу Худ... Х з, ) З, ПОПередНЬО 
визначеної у блоках 4 та 5, обмеженої підмножини. При цьому можливі випадки, 
коли обмежені підмножини складаються з одного елемента - тоді ідентифікація не 
потрібна - зразу отримуємо дактилему (дактилеми Т та Г). Можлива ситуація, коли 
ознака х, є 1,2,3). Тоді також ідентифікація не потрібна - зразу отримуємо 
дактилему (х, - 1 - дактилема Д, х, -2 - дактилема 3, х, - 3 - дактилема Б). В 
інших випадках потрібно застосувати алгоритм для ідентифікації. 


Реалізація інформаційної технології та проведення експериментів 


Для підтвердження спроможності м та | ефективності 0 запропонованої 
інформаційної технології створено відповідне застосування (рис.4). 

Інтерфейс застосування складається з наступних блоків: інтерфейс для 
налаштування та калібрування системи для ідентифікації елементів дактильної 
мови (1); відображення відеопотоку - в системі відображається три відеопотоки: 
вхідний, з виділеними областями точок, які відносяться до руки, і відеопотік з 
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рукою (2); інтерфейс для налаштування еталонів для контурного аналізу (3); 
інтерфейс демонстрації характеристик вхідного зображення (4). Для підтвердження 
ефективності наведених методів, характеристичних ознак, та для підтвердження 
ефективності інформаційної технології, за допомогою створеного застосування 
проведено ряд експериментів. 

В експериментах брали участь люди з різними розмірами рук, які 
відтворювали жести на різних фокусних відстанях від відеокамери. За час розробки 
та тестування системи в експериментах взяло участь понад сто п'ятдесят людей з 
різними розмірами рук, які були поділені на такі експериментальні групи: жінки 
(різного віку); чоловіки (різного віку); чоловіки віком від 16 до 21 року; жінки 
віком від 16 до 21 року; чоловіки старші за 21 рік; жінки старші за 21 рік; змішана 
група чоловіків і жінок різного віку. На рис. 5 показано результати розпізнавання 
відтворення дактилем А, Б, В, Г, Д (зліва - направо) на різних фокусних відстанях. 


«0 маю 0 | Неріи/улан « 0 


Весодпіїол рагатеїего 
Мах АС деволріох деміавогі 


Рис. 4. Застосування для тестування інформаційної технології 


Аналіз випадків, коли була неправильно розпізнана дактилема, показав наступні 
групи причин неправильного розпізнавання: швидкий темп виконання дактилеми; 
виконання подібних жестів; особливості індивідуального відтворення дактилем. 

Система може помилково розпізнавати  дактилему, якщо її швидко 
відтворили. Це пов'язано з тим, що зображення дактилеми передається у систему 
через ууеб-камеру з частотою 30 кадрів за секунду з розширенням 320 на 240 
пікселів. При швидкому відтворенні можуть порушуватись якісь зображення та 
з'являтися області, що розмиваються. 

Проаналізувавши дактилеми, можна визначити групи подібних жестів. Якщо 
такі жести відтворювати швидко, або не притримуючись правил виконання 
дактилеми, то можливе неправильне розпізнавання жестів. 


50 О О.В. Бармак, В.С. Касьянюк, Ю.В. Крак 


155 1561 - 5359. Штучний інтелект, 2015, М» 1-2 


Розпізнавання жестів які відтворюались різними групами 
на відстані від З0 до 50 сантиметрів 
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жінки (різного чоловіки чоловіки віком жінки віком чоловіки жінки старше змішана гупа 
віку) (різноговіку) віді16 до 21 від16до 21 старше 21 року 21 року чоловікта 
року року жінок різного 
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Розпізнавання жестів які відтворювались різними 
групами на відстані від 50 до 80 сантиметрів 


8 
82 
80 
78 | 
76 


жінки чоловіки чоловіки жінки віком чоловіки жінки старше змішана гупа 
(різного віку) (різноговіку) вікомвід16 від16 до 21 старше 21 21 року чоловікта 
до 21року року року жінок різного 


віку 


нлиБивВигид 
Рис. 5. Розпізнавання дактилем на різних фокусних відстанях. 


При тестуванні з експериментальною групою, до якої входили викладачі 
жестової мови, що відтворювали дактилеми відповідно до правил дактилювання, 
було досягнуто якість розпізнавання 97-98 З (на рис. 6 показано відсотки 
правильного розпізнавання дактилем Н, О, Р, Ж, Ч, Е). 


Висновки 


У роботі запропонована інформаційна технологія для побудови системи 
класифікації та ідентифікації дактильної абетки української жестової мови. 
Класифікація елементів дактильної абетки проводиться за характеристичними 
ознаками, які не залежать від індивідуальних особливостей руки та фокусної 
відстані відеофіксації, що дало змогу визначити класи дактилем та окремі 
дактилеми, що однозначно розпізнаються за цими ознаками. 

Запропоновано інформаційну технологію ідентифікації дактилем жестової 
мови, як комбінації ефективних методів отримання ознак та гіперплощинної 
класифікації слабороздільних множин, що дало змогу реалізувати ефективну 
систему ідентифікації дактилем, які не залежать від індивідуальних особливостей 
руки та фокусної відстані відеофіксації. 


О О.В. Бармак, В.С. Касьянюк, Ю.В. Крак 51 


155 1561 - 5359. Штучний інтелект, 2015, М» 1-2 


Фокусна відстань 30-50 см Фокусна відстань 50-80 см. 


97,5 98 
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96,5 97 
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94 94,5 
н о Р ж ч Е н о Р ж ч Е 


Рис. 6. Розпізнавання дактилем (9?) у групі викладачів дактильної мови 


Тестування запропонованої інформаційної технології, що проводилось з 
групами людей різних вікових та статевих параметрів та на різній фокусній відстані 
показало однозначну правильну ідентифікацію на рівні 80-87 "Зб. Аналіз 
неправильно ідентифікованих елементів показав, що причиною незадовільного 
розпізнавання є неправильне відтворення дактилем або деформування їх при 
швидкому показі. Експериментальна група, за заданої умови правильного показу 
(навчальний, показовий темп), показала якість розпізнавання на рівні 96-98 9/0. 
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іЧепіїйсайоп Аасбу! аїрбабеї ої бе ОКгаїпіап 8ієп Іапєцаєе 15 стеайоп. СІаз5ійсайоп ої 
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А.В. Бармак, В.Д.Касьянюк, Ю.В. Крак 
Реализация подхода для идентификации знаков дактильной азбуки для 
украийнского жестового язьтка 

В статье представлена информационная технология для построения системьі 
классификации и идентификации дактильной азбуки украйнского жестового язька. 
Классификация злементов дактильной азбуки проводится по характеристическим 
признакам, которьг6е не зависят от индивидуальньтх особенностей руки и фокусного 
расстояния видеофиксации, что позволило определить классью дактилем и 
отдельнье дактилемь, что однозначно распознаются по зтим признакам. 

Тестированиє | предложенной  информационной технологий, которое 
проводилось с группами людей различньх возрастньх и гендерньх параметров и 
на разном фокусном расстояний, показало правильную идентификацию в 80-87 Уб. 
Анализ неправильно идентифицированньх злементов показал, что причиной 
неудовлет-ворительного распознавания является неправильное воспроизведениє 
дактилем или деформирования их при бьістром показе. Зкспериментальная группа 
при заданном условий правильного показа (учебньй, показательньшй темп) 
показала качество распознавания на уровне 96-98 9. 
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